2011년 추계 학술대회
Current Result Document :
| 한글제목(Korean Title) |
원문 보호가 가능한 대용량 한글 문서 고속 탐색 기법 |
| 영문제목(English Title) |
A Fast Searching Method for Huge Korean Document with Original Text Protection |
| 저자(Author) |
박선영
김성환
조환규
Sun-Young Park
Sung-Hwan Kim
Hwan-Gue Cho
|
| 원문수록처(Citation) |
VOL 38 NO. 2(B) PP. 0205 ~ 0208 (2011. 11) |
한글내용
(Korean Abstract) |
최근 유사 문서 탐색 시스템의 개발이 꾸준히 이루어지고 있는 가운데, 유사 문서 탐색을 위한 데이터 수집 문제가 저작권과 관련하여 큰 문제가 되고 있다. 많은 저작권자들은 자신의 저작물이 표절의 대상이 되는 것을 원하지 않지만, 유사 문서 탐색 시스템에서 자신의 저작물을 수집하는 것에도 거부감을 가지고 있다. 이는 대부분의 시스템이 가지고 있는 한계이며, 원 저자의 동의 없이 유사 문서 탐색을 하기는 매우 힘들다. 만약 유사 문서 탐색 시스템이 저작권자들의 저작물을 복원할 수 없도록 변환하여 보관하는 것을 보장한다면, 저작권자들이 데이터를 제공하는 데에 드는 거부감을 완화할 수 있을 것이다. 본 논문에서는 한글의 특성 상 초성의 정보량이 가장 큰 것에 착안하여, 초성을 이용한 한글 스킨 추출 방법을 이용한 원문 보호가 이루어지면서 특정 단어나 문장이 존재하는지 탐색할 수 있는 시스템을 제안한다. 제안하는 시스템은 입력된 한글 문서의 초성(스킨)을 추출하고, 추출된 데이터를 저장하기 위하여 버로우즈-휠러 변환(Burrows-Wheeler Transformation)을 수행하여 접미사 배열 정보와 원문 정보를 최소한의 용량으로 저장한다. 실험 결과 초성 추출 이후 탐색 정확도를 확보하기 위해서는 20글자 이상의 문장을 검색할 필요가 있으며, BWT를 이용한 접미사 배열 기반의 탐색 결과 순수 텍스트 기준 100MB 크기의 말뭉치에서 다양한 크기와 종류의 데이터에 대해 모두 0.01초 내에 탐색을 완료하여 사실상 실시간 검색이 가능함을 보였다. 이번에 제안한 방법으로는 정확히 일치하는 문장에 대해서만 탐색이 가능하고, 한글 문서만 보호 할 수 있다. 추후 불일치를 허용하는 탐색 방법을 개발하고, 영어, 중국어 등 모든 언어에 적용 가능한 보호 방법에 대해서 연구할 계획이다.
|
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
